use to/fromOsPath

Just to reduce the number of from/toRawFilePath calls, which I would
like to minimize.

In this build path, the two are the same though.

remove unused functions from Utility.RawFilePath

replace removeLink with removeFile

same reasoning as in commit 5cc8d9d03b53f2e43d51e4f612f423178519e824

update todo

replace R.doesPathExist with doesPathExist

Equivilant, just avoids some ugliness.

test suite now passes after OsPath conversion

The test suite was failing because of a bug in the Database/* modules.
I had replaced doesPathExist with doesDirectoryExist, but it was
checking the database file.

I have audited commit f1ba21d698c908ad84c08bce24fbbc376190fe83 for
other changes to doesPathExist, and checked that doesDirectoryExist and
doesFileExist were used correctly.

The only change I found is in youtubeDl', where it used to return
directories that might have been created by youtube-dl. But it was
supposed to return media files, so changing it to use doesFileExist is
actually an improvement. Although only of theoretical benefit.

Note that it would actually be possible to keep using doesPathExist,
there is a version of that for OsPath as well. But the rest of these
changes seem safe.

Sponsored-by: Nicholas Golder-Manning

OsPath conversion of linuxstandalone builder

Sponsored-by: Joshua Antonishen

OsPath build flag no longer depends on filepath-bytestring

However, filepath-bytestring is still in Setup-Depends.
That's because Utility.OsPath uses it when not built with OsPath.
It would be maybe possible to make Utility.OsPath fall back to using
filepath, and eliminate that dependency too, but it would mean either
wrapping all of System.FilePath's functions, or using `type OsPath = FilePath`

Annex.Import uses ifdefs to avoid converting back to FilePath when not
on windows. On windows it's a bit slower due to that conversion.
Utility.Path.Windows.convertToWindowsNativeNamespace got a bit
slower too, but not really worth optimising I think.

Note that importing Utility.FileSystemEncoding at the same time as
System.Posix.ByteString will result in conflicting definitions for
RawFilePath. filepath-bytestring avoids that by importing RawFilePath
from System.Posix.ByteString, but that's not possible in
Utility.FileSystemEncoding, since Setup-Depends does not include unix.
This turned out not to affect any code in git-annex though.

Sponsored-by: Leon Schuermann

merging the two lines of OsPath conversion commits

OsPath conversion

While some RawFilePath and FilePath remain, this converts most of
git-annex to using OsPath.

(When built without the OsPath build flag, is falls back to using
type OsPath = RawFilePath.)

The goals are
1) improved performance by using OsPath end-to-end when possible
2) potentially avoiding memory use problems caused by pinned strict
   ByteString, since OsPath uses ShortByteString
3) eventually eliminating the filepath-bytestring dependency so I don't
   need to keep maintaining that library
   (this doesn't get all the way, but close)
4) generally improved type safety, since OsPath is a newtype, while
   FilePath and RawFilePath are just type aliaes.

This is the result of a type checker driven process. I started by
converting from System.Directory to System.Directory.OsPath, and from
System.FilePath to System.OsPath. Then I fixed all the compile errors,
which took 3 weeks of work.

Unfortunately, there are several test suite failures at this point.
Also, it only has been built on linux, on windows and OSX there are
probably ifdefs whose code still needs to be converted.

Note that there is a parallel line of commits, starting with
05bdce328d890cbac68a8627aaae262078a8290a
which is the incremental progress as I worked on this. It will be merged
with this commit. In some cases, commits in that line explain in more
details the reasons for some specific changes.

fix reversions

Oops, in 0b9e9cbf70c6375c8ccccdfac95b5e04ca09f891 I lost takeDirectory
in several places.

With this fixed, the test suite no longer utterly blows up, but still
fails in 7 places due to other bugs introduced in the OsPath conversion.

Sponsored-by: Graham Spencer

more OsPath conversion (749/749)

Builds with and without OsPath build flag.

Unfortunately, the test suite fails.

Sponsored-by: unqueued on Patreon

don't export pack and unpack

These are too widly used for other things to make sense to export OsPath
versions of them. And OsString also provides them and gets imported
qualified when needed.

more OsPath conversion (658/749)

At this point the test suite builds, and mostly the assistant is left.

Sponsored-by: unqueued

more OsPath conversion (650/749)

Sponsored-by: Nicholas Golder-Manning

more OsPath conversion (639/749)

Sponsored-by: k0ld

more OsPath conversion (602/749)

Sponsored-by: Brock Spratlen

more OsPath conversion (572/749)

Sponsored-by: Jack Hill

Revert "update"

This reverts commit f5c6dc7cfb4ff9d455fe67081f346b65a8803e68.

update

more OsPath conversion (542/749)

Sponsored-by: Luke T. Shumaker

more OsPath conversion (520/749)

Sponsored-by: mycroft

Merge branch 'master' into ospath

more OsPath conversion (502/749)

Sponsored-by: Kevin Mueller on Patreon

more OsPath conversion (475/749)

Sponsored-by: Nicholas Golder-Manning

OsPath conversion of Annex.YouTubeDl

The change of R.doesPathExist to doesFileExist I think fixes a reversion
introduced in commit 1ceece3108f03badcca0d9c64cd287f9352656b3. Before
that commit, it was doesFileExist, and I assume to point is that this is
only supposed to return files, not any subdirectories that yt-dlp might
create while running.

OsPath conversion of Remote.Adb

Note that the additional use of System.FilePath.Posix likely fixes a
problem if this were used on windows. The AndroidPath uses / directory
separators. Before this, on windows, \ would have been used.

The change to newtype AndroidPath is only documentation.

more OsPath conversion

Sponsored-by: Leon Schuermann

more OsPath conversion (464/749)

Sponsored-by: unqueued

more OsPath conversion

Sponsored-by: Graham Spencer

replace removeLink with removeFile

removeFile calls unlink so removes anything not a directory. So these
are replaceable in order to convert to OsPath.

more OsPath conversion

Sponsored-by: Joshua Antonishen

more OsPath conversion

Sponsored-by: k0ld

more OsPath conversion

Sponsored-by: Brock Spratlen

move windows test suite workaround to relatedTemplate

Revert "add windows debug"

This reverts commit 76bfdf6a0348211ecfe934c93f6a1f08bd537660.

add windows debug

Revert "try truncateFilePath on windows again"

This reverts commit 0d4abbcb92ff40e90cbc44f3d1a42243bdbae2ba.

Test suite was failing again with that.

try truncateFilePath on windows again

after fix in commit 773115fd5f9334855b138323b74ca572695208a0
maybe it will work now and not break test suite?

fix truncateFilePath edge case on windows

If the filepath starts with something that is not valid utf-8, it would
have returned "". And if the filepath was all non-valid utf-8, it would
also return "".

Merge branch 'master' of ssh://git-annex.branchable.com

try fixing windows test suite

Test suite is failing in windows in conflict resolution tests, where the
automatic conflict resolution adds in a .variant file. On windows, those
files are somehow missing. I don't understand why, and the test failures
only happen on appveyor and not in a local windows VM.

So, since replaceFile was recently changed to remove a windows specific
ifdef, put it back, to see if that is somehow causing these failures.

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

more OsPath conversion

Sponsored-by: Jack Hill

Added a comment

Merge branch 'master' into ospath

update

Merge branch 'master' into ospath

Merge branch 'ospath-mk1'

Merge branch 'master' of ssh://git-annex.branchable.com

update appveyor cache directory

With old:

Cache entry not found: C:\projects\git-annex\Users\appveyor\.stack

I think fixing this will result in caching preventing a full rebuild of
git-annex each time.

response

avoid build warning

An odd one, it complained about security_attributes being defined but
not used, but it was used..

Added a comment

avoid build warnings on windows

Merge branch 'master' of ssh://git-annex.branchable.com

bring back OsPath changes

I hope that the windows test suite failure on appveyor was fixed by
updating to a newer windows there. I have not been able to reproduce
that failure in a windows 11 VM run locally.

Merge branch 'ospath-mk1' into ospath

Revert "disable OsPath build flag on windows for now"

This reverts commit 55cf9ce28fe1c8a4ee64f1843cd3a88e85bcbf35.

Problem was fixed by commit c1e90767daeff7557e047ea4229d83c4e78f9f12

fix FileIO openTempFile on Windows

When an UNC-style path is passed into openTempFile, the returned file
starts with that same style of path. Which can cause problems, eg piping
that filename to git failed. So, convert the output filename to be
relative to the input temp directory.

fix FileIO openTempFile on Windows

When an UNC-style path is passed into openTempFile, the returned file
starts with that same style of path. Which can cause problems, eg piping
that filename to git failed. So, convert the output filename to be
relative to the input temp directory.

Merge branch 'master' of ssh://git-annex.branchable.com

switch appveyor windows build to newer version

Added a comment

close

document a SNAFU

throwing away a week's work

This was an attempt at continuing the RawFilePath transition into an
OsPath transition. Unforunately, it had multiple test suite failures on
windows. Debugging those seems that it would be more work than the
minor optimisation value of this.

merge in doc changes from master

Merge branch 'master' into ospath

fix liuxstandalone build

disable OsPath build flag on windows for now

Test suite failure looks like this:

        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        fatal: could not open '\\?\C:\Users\appveyor\AppData\Local\Temp\1\hash-cc81b41d-dfda-4ae8-904b-b531742443cc' for reading: No such file or directory
        git-annex: fd:4: Data.ByteString.hGetLine: end of file
        git-annex: user error (git ["--git-dir=.git","--work-tree=.","--literal-pathspecs","hash-object","-w","--no-filters","--stdin-paths"] exited 128)

This is apparently in Git.HashObject, and probably in hashBlob, which uses a
temp file with a name starting with "hash", but I have not been able to tell
what's wrong.

I don't understand where the "\\?" path prefix (windows UNC-style path)
is coming from in the path that gets fed into git hash-file, or why git
hash-file can't open the file.

remove temp debugging code

debug test suite crash on windows

more OsPath conversion

Sponsored-by: Kevin Mueller

Merge branch 'master' into ospath

fix windows build

windows build fix

fix windows build and clarify comment

Merge branch 'master' into ospath

fix fromOsPath on windows

Same reasons as 9c9baf7c6581235643661b94f70f76f8a10ae60e

fix toOsPath on windows

After recent changes to use OsPath, test suite fails on windows with:

Exception: Uneven number of bytes: 5. This is not a Word16 bytestream.

Hopefully this fixes it. The innefficiency of the conversion is
unfortunate.

response

more OsPath conversion

Sponsored-by: Nicholas Golder-Manning

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

more OsPath conversion

Sponsored-by: Luke T. Shumaker

Merge branch 'master' of ssh://git-annex.branchable.com

Merge branch 'master' into ospath

windows build fix

and a little more bonus RawFilePath conversion

more OsPath conversion

Sponsored-by: mycroft

Merge /home/joey/tmp/git-annex into ospath